Về sau, Tạ An được nhận chức Trữ tác lang trong phủ Tư đồ, nhưng chỉ được một thời gian thì ông cáo bệnh, từ chức và ẩn cư ở vùng Đông Sơn. Trong thời gian này, ông kết thân với nhiều danh sĩ như Vương Hi Chi, Hứa Tuân (ngươi quận Cao Dương),... thường lai vãng, du ngoạn hay thưởng thức âm nhạc ở nhiều nơi trong quận Cối Kê. Một lần ông cùng Tôn Xước vượt biển du ngoạn thì gặp bão to làm mọi người hoảng sợ không yên, duy chỉ có Tạ An vẫn không tỏ vẻ gì mà còn khuyên mọi người bình tĩnh, hoảng sợ không có ích gì. Cuối cùng giông tố tan đi, mọi người trong thuyền đều an toàn[4].

Cũng trong những năm tháng ẩn cư, Tạ An nổi tiếng với việc giáo dục con em của mình về nhiều lĩnh vực. Trong những người thân của ông, có cháu gái Tạ Đạo Uẩn là người giỏi, được ông rất yêu quý[5]. Nghe thanh danh của ông, nhiều đại thần nắm quyền trong triều như Dương châu thứ sử Dữu Băng phái người đến quận mời ông ra làm quan, nhưng chỉ tháng sau ông từ chức ra về. Tiếp đến, ông không chịu nhận chức Lại bộ lang của Lại bộ thượng thư Phạm Uông tiến cử... Nhiều lần triều đình triệu Tạ An về kinh nhưng ông không đến, ẩn cư ở phía đông nam nhiều năm. Ông cũng thường đến núi Lâm An, ở trong nhà đá, có người bảo ông giống như Bá Di đời nhà Thương[6]. Một lần nữa, đại thần Chu Nhân muốn dùng Tạ An ra giúp mình, nhưng ông cũng không nhận. Việc làm của ông được nhiều người xem trọng. Tể tướng nhà Tấn là Cối Kê vương Tư Mã Dục cũng cho rằng Tạ An có ưu điểm hơn người.